Fefferman sinh ra trong một gia đình người Do Thái, tại thành phố Washington. Ông nổi tiếng là một thần đồng. Fefferman nhập học tại đại học Maryland vào năm 14 tuổi và viết bài bào khoa học đầu tiên ở tuổi 15. Ông tốt nghiệp chuyên ngành toán và vật lý năm 17 tuổi và nhận bằng tiến sĩ (PhD) ba năm sau đó tại đại học Princeton, dưới sự hướng dẫn của Elias M. Stein. Luận văn tiến sĩ của ông là: "Inequalities for strongly singular convolution operators". Fefferman trở thành giáo sư chính thức tại đại học Chicago năm 22 tuổi, và là người trẻ nhất từng đạt được vinh dự này.